Thuật Hổ Cao Kỳ có họ (tính hoặc thị) là Thuật Hổ, đến từ mãnh an thuộc Tây bắc lộ [1]. Năm Đại Định thứ 27 (1187) thời Kim Thế Tông, Cao Kỳ được sung làm hộ vệ, rồi thăng làm Thập nhân trưởng, ra nhận chức Hà Gian Đô tổng quản Phán quan, triệu về làm Vũ vệ quân Kiềm hạt, thăng làm Túc trực tướng quân, trừ chức Kiến Châu thứ sử, đổi làm Đồng tri Giám thao phủ sự.

Năm Thái Hòa thứ 6 (1206) thời Kim Chương Tông, Nam Tống phát động Khai Hi bắc phạt, Cao Kỳ cùng Chương Hóa quân Tiết độ phó sứ Bả Hồi Hải phòng bị các trấn thuộc Củng Châu. Hơn vạn quân Tống từ Lộc Lô lĩnh thuộc Củng Châu xâm nhập, Cao Kỳ hăng hái phá được, được ban 100 lượng bạc, 10 tấm Trọng thái (tranh lụa có màu sắc rực rỡ). Thanh Nghi Khả của tộc Phiên ở Lũng Nam xin nội phụ, triều đình giáng chiếu cho Tri phủ sự Thạch Mạt Trọng Ôn và Cao Kỳ cùng ra biên giới, cùng Thanh Nghi Khả hiệp đồng tiến thủ. Nhà Kim phong Ngô Hi làm Thục vương, lấy Cao Kỳ làm Phong sách sứ; đi sứ trở về, ông được gia chức Đô thống, hiệu Bình nam Hổ uy tướng quân.

Tướng Tống là An Bính sai Lý Hiếu Nghĩa soái 3 vạn bộ kỵ tấn công Tần Châu, đầu tiên lấy vạn người vây Tạo Giác bảo. Cao Kỳ đi cứu, gặp quân Tống bày trận ở sơn cốc, lấy Vũ xa làm hai cánh trái phải [2], Phục nỗ (1 loại nỏ lớn) ở dưới mà đón đánh. Vừa giao chiến, quân Tống vờ lui, Cao Kỳ thấy địch có mai phục nên không tiến lên, mà mà lùi lại chỉnh đốn. Quân Tống lại đến, trải qua 5 lượt giao phong, càng đánh càng vững, quân Kim không thể làm gì được. Cao Kỳ chia quân làm 2, một nửa ra đánh thì nửa còn lại nghỉ ngơi, xoay vòng như vậy. Hồi lâu, Cao Kỳ ngầm sai Bồ Sát Đào Tư Lạt đem quân lên núi, từ trên cao tràn xuống hợp kích, đánh cho quân Tống đại bại, chém được 4000 thủ cấp, bắt sống vài trăm người, khiến Lý Hiếu Nghĩa cởi vây bỏ đi. Lại có 3000 quân Tống đặt trại ngựa liên hoàn để dò xét hào rãnh, Cao Kỳ sai Giáp Cốc Phúc Thọ đánh đuổi, chém hơn 700 thủ cấp.

Năm Đại An thứ 3 (1211) thời Kim Vệ Thiệu vương, Cao Kỳ dần được thăng đến quan Thái Châu thứ sử, đem 3000 Triển quân [3] đồn trú ngoài cửa Thông Huyền. Chưa được lâu, triều đình nâng huyện Tấn Sơn làm Trấn Châu, lấy Cao Kỳ làm Phòng ngự sứ, quyền Nguyên soái hữu đô giám, ban thưởng binh sĩ Triển quân dưới quyền theo thứ bậc. Tháng 8 ÂL năm Chi Ninh đầu tiên (1213), Hoàn Nhan Cương làm Hành tỉnh sự, đem 10 vạn quân đến Tấn Sơn, không thèm để mắt đến Cao Kỳ.[4] Chẳng được lâu, Cương bị quân Mông Cổ đánh bại ở Tấn Sơn. Năm Trinh Hữu đầu tiên (1213) thời Kim Tuyên Tông, Cao Kỳ được thăng làm Nguyên soái hữu giám quân; tháng nhuận năm ấy, triều đình giáng chiếu khích lệ ông.

Tháng ấy, Cao Kỳ nhận chiếu từ Trấn Châu dời quân tham gia bảo vệ việc dời đô về phía nam, đến Lương Hương thì không đi thể tiếp, bèn quay về Trung Đô (nay là Bắc Kinh). Tiếp đó Cao Kỳ trận nào cũng thất bại, nên quyền thần Hồ Sa Hổ răn đe sẽ xử lý ông theo quân pháp. Ngay sau đó Cao Kỳ lại thua trận, khiến ông sợ phải chịu tội chết. Ngày tân hợi tháng 10 ÂL, Cao Kỳ đem binh vây nhà của Hồ Sa Hổ, giết ông ta, đem thủ cấp của ông ta đến cửa khuyết đợi tội. Kim Tuyên Tông xá tội, lấy Cao Kỳ làm Tả phó nguyên soái, một loạt tướng sĩ được thăng thưởng có phân biệt. Ngày bính dần, triều đình giáng chiếu cho biết Cao Kỳ đã liên hệ với các đại thần trong việc trừ khử Hồ Sa Hổ, nhằm lấp liếm động cơ cá nhân của ông. Ít lâu sau, Cao Kỳ được bái làm Bình chương chánh sự.